我对SSIS、Informatica有很好的了解，可以执行ETL过程并将数据加载到数据仓库。但我对Hadoop的了解还不够。我只是想知道，我们能否使用Hadoop替代ETL工具，例如用于ETL流程的Informatica？这里，基本上我说的是关系表结构。我知道hadoop可用于从非结构化数据中提取信息。 最佳答案 这不能按要求回答。Hadoop的强大功能来自MR和HDFS的协同作用，将计算移至数据附近。当您谈论将Hadoop用于从OLTP关系表到DW的ETL时，Hadoop将必须连接、提取数据并进行上传。让一组工作人员冲击OLTP数
我们正在Hadoop和Hive上创建一个类似字典的应用程序。大体过程是对一个大的固定字典(大约100G，如多语言WordNet字典)批量扫描数十亿的日志数据(例如单词)。我们已经有了一个单机版本的java应用程序(我们称之为“singleApp”)来查询这个字典。我们目前无法修改此java应用程序或字典文件，因此我们无法重新设计和重新编写一个完整的新MapReduce应用程序。我们需要使用这个单机版本的Java应用程序作为构建block，将其扩展到MapReduce版本。目前，我们可以通过调用此“singleApp”并使用分布式缓存传递字典子集(例如1G字典)来创建MapReduc
我们有分析数据的框架，借助OLAP的立方体设计和有ETL连接的仓库，它们都是sqlServer结构和SSRS(SQLServerReportingServices)。我们的一些报告需要很长时间才能得出结论，我们决定迁移到Hadoop生态系统。ApacheKylin是这个框架的一个很好的替代品吗？ 最佳答案 首先，我会将SQLServerAnalysisServices与Kylin进行比较，而不是将ReportingServices与ReportingServices进行比较，因为ReportingServices更接近于前端系统。根
关闭。这个问题需要更多focused.它目前不接受答案。想改进这个问题吗？更新问题，使其只关注一个问题editingthispost.关闭5年前。Improvethisquestion我们在hadoop上工作了很多年。它被用于分布式数据存储和数据处理。现在我们已经知道spark比hadoop更好。这是否意味着我们应该用spark替换hadoop生态系统？有人可以详细说明吗？对于我们的场景，我们必须分析大量数据并且我们期望很快得到结果。这就是我们考虑使用Spark的原因。
我定义了以下计数器staticenumBadRecordCounters{NO_CREATION_DATE,UNKNOWN_USER_ID,UNPARSEABLE_RECORD,UNTAGGED_POSTS}它们显示如下14/05/0621:43:06INFOmapred.JobClient:com.aravind.learning.hadoop.mapred.techtalks.StackoverflowDataWranglerMapper$BadRecordCounters14/05/0621:43:06INFOmapred.JobClient:UNKNOWN_USER_ID=93
好吧，这很烦人!我是Hadoop的新手。我正试图找到基本HDFSWeb界面的合适替代品。我尝试使用hadoopeclipse插件，但似乎它已经过时了，正确设置它很痛苦!我安装了cloudera的发行版，我听说过clouderadesktop，但它不再可用。谁能告诉我HDFSWeb界面的不错替代方案，我可以通过GUI轻松地将文件下载和上传到HDFS？P.S我正在本地运行所有内容，不，涉及集群。尝试了很多寻找，但似乎没有任何东西指向正确的方向 最佳答案 您可以使用webhdfs，其RESTAPI支持HDFS的完整文件系统接口(inter
如何将Kryo设置为我的序列化框架来代替Writable？子问题:如何设置要序列化/反序列化的对象，就像我们对Writable所做的那样？ 最佳答案 将io.serializations属性设置为逗号分隔的类名列表以注册序列化实现。它的默认值是org.apache.hadoop.io.serializer.WritableSerialization，这意味着只有Writable对象可以开箱即用地序列化或反序列化。引用-http://my.safaribooksonline.com/book/databases/hadoop/9780
我的hive中有两个View+------------+|Table_1|+------------+|hash||campaignId|+------------++-----------------+|Table_2|+-----------------+|campaignId||accountId||parentAccountID|+-----------------+现在我必须获取按accountId和parentAccountID过滤的“Table_1”数据，为此我编写了以下查询:SELECT/*+MAPJOIN(T2)*/T1.hash,COUNT(T1.campaignI
我有一个hadoopMapReduce程序，它不均匀地分布key。一些reducer最终有两个键，一些有一个键，有些没有。我如何强制hadoop将具有特定键的每个分区分配到单独的reducer。我有九个形式的唯一键:0,00,10,21,01,11,22,02,12,2我设置了job.setNumReduceTasks(9);但是hashpartitioner似乎将两个键哈希到相同的哈希码，导致重叠的键被发送到同一个reducer并使一些reducer空闲。随机分区器能解决这个问题吗？它将每个唯一的key发送到一个随机的reducer，以保证每个reducer收到一个key。如何启用它
关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题吗？更新问题，以便editingthispost提供事实和引用来回答它.关闭去年。Improvethisquestion我们计划从头开始编写一个Web应用程序，已决定使用符合JavaEE6标准的最新版Glassfish，因此我们正在分析是否可以使用CDI来代替Spring。我们可以说CDI可以替代Spring吗？ 最佳答案 2021年更新:我回答最初的问题已经10年了，但我仍然偶尔获得支持。我能否请future的读者接受我的回答:2011年Java企业版图
